AI Papers Daily

#LLM Decoding

2 篇

Decoding Looped Transformers Better for (Almost) Free

几乎零成本优化循环Transformer解码

🧭 循环Transformer对比解码优化

Apple

训练无关的LoopCD对比解码，利用循环中间状态引导最终预测，提升推理质量并大幅降低计算量

📌 工作参考价值（4 点）

• 对比解码不依赖额外小模型或微调：可直接复用模型自身不同深度的输出，在 logit 或 hidden state 空间做差值引导。对线上已有 LLM 推理服务，可即插即用地提升生成质量，无需重新训练。
• 隐藏状态空间变体（LoopCD-Hidden）几乎零额外开销：适合对延迟敏感的电商搜索 query 生成、推荐理由生成等场景，无需增加输出层计算，直接对中间 hidden state 做对比。
• 循环 Transformer 架构下可动态调整深度：根据请求复杂度决定循环次数，再用 LoopCD 弥补浅层损失，实现精度与 FLOPs 的 trade-off。对需要弹性算力调度的在线推理系统有参考价值。
• 中间状态作为弱预测的直觉可迁移到其他多阶段推理模型（如 MoE 不同专家输出、多步推理的中间结果），利用“弱-强对比”放大模型确信信号，抑制不确定 token。

LLM | 2026-09-30 | HF Daily | score 7/10

Contrastive DecodingLooped TransformerInference OptimizationTraining-freeLLM Decoding

Beyond Truncation: Rethinking LLM Decoding as Ensemble Pruning

超越截断：将 LLM 解码重新定义为集成剪枝

🧭 LLM 解码 · 集成剪枝

Institute of Statistics and Big Data, Renmin University of China · Big Data and Responsible Artificial Intelligence for National Governance, Renmin University of China · Center for Applied Statistics, Renmin University of China

提出 Mahalanobis-Ensemble Decoding，基于 token 嵌入相似度做集成剪枝，提升解码多样性且近乎零开销

📌 工作参考价值（4 点）

• 在电商/广告文案、搜索 query 推荐等文本生成场景，可直接作为解码端插件，用 token 语义相似度矩阵做候选剪枝，减少重复 token 和语义冗余，无需重新训练模型。
• 若业务中已有 LLM 生成候选商品描述、推送文案或 Agent 规划路径，可把 ME-Decoding 的 adaptive-bandwidth kernel 思路迁移到自有 token/item embedding 上，构造 Mahalanobis 距离驱动的多样性目标，提升候选集召回质量。
• 该方法强调 near-linear 复杂度和 early stopping，适合线上推理延迟敏感场景；在 beam search 或采样前对候选 token 做一次轻量剪枝，可作为低成本的多样性增强层。
• 对生成式推荐中的 Semantic ID 或多 token 生成路径，可用相似度矩阵动态 discount 冗余路径，缓解生成结果坍缩到高频 ID 或重复 token 的问题。

LLM | 2026-09-16 | cs.LG | score 7/10

LLM DecodingEnsemble PruningMahalanobis DistanceToken DiversityPlug-and-Play